Computed, not Memorized: Bit-Factorized Identifiers for Efficient Generative Retrieval
计算而非记忆:面向高效生成式检索的位分解标识符
🧭 生成式检索 · 数值 DocID 零样本适配 ★ 深度解读
Leiden University · Shandong University · Radboud University
将文档向量符号位作为 DocID,结合多树束搜索,实现零训练新文档适配与最低推理延迟
📌 工作参考价值(4 点)
- 新物品/新文档冷启动:可用预训练编码器对物品标题、属性、描述做 tanh 后取符号位,直接生成可打分的二进制 DocID,无需为新 ID 训练 embedding;通过 weight interpolation(α=0.5)融合通用编码器与任务调优编码器,能在 seen/unseen 间取得平衡。
- 推理工程:采用 flat token 评分,所有候选 token 在一次 encoder 前向中完成打分,不需要 autoregressive decoder;再用多棵不同 bit 排列的前缀树做 constrained beam search(h=8),可比单纯增大 beam 更有效地减少早剪枝,提升未见文档召回。
- 资源与延迟:120-bit DocID 仅需 15 bytes/doc,单 query 延迟 24 ms(A100),显著低于现有生成式检索方法;适合商品库频繁更新、需要低延迟检索的场景,可作为生成式推荐索引层。
- 局限与改进:平坦 ID 缺少层级先验,高召回略弱;若业务需要 Hit@100 更优,可尝试将 bit-factorized 与 RQ-VAE 等残差量化层级结构结合。